Co je robots.txt
Robots.txt je soubor připojený k webovým stránkám, kde jsou sepsány instrukce pro roboty vyhledávačů, přesněji co mohou na webu procházet a indexovat a co nikoli. Tímto souborem je možné zakázat robotům vstup na celý web.
Víme, že je toto vysvětlení příliš stručné, a proto právě pracujeme na jeho rozšíření.